Là Bộ trưởng Chiến tranh, Yamagata xây dựng nền tảng Bộ tham mưu Lục quân Đế quốc Nhật Bản, là cội nguồn của sức mạnh chính trị của Yamagata và các sĩ quan quân sự khác cho đến khi kết thúc Chiến tranh thế giới thứ hai (1939 – 1945). Ông là Tổng tham mưu trưởng trong những năm 1874-76, 1878-82, và 1884-85.

Năm 1877 Yamagata dẫn đầu Lục quân Đế quốc đã được hiện đại hóa đánh dẹp cuộc nổi dậy Satsuma do Saigō Takamori (người Satsuma) - một chí sĩ của cuộc Minh Trị Duy Tân - cầm đầu. Cuối cuộc chiến, khi cái đầu đầy thương tích của Saigo được mang đến cho Yamagata, ông ra lệnh rửa sạch nó, và giữ chiếc đầu trên tay mình như ông đang tuyên án cho một anh hùng sa ngã.

Ông cũng đề nghị Thiên hoàng Minh Trị viết Quân nhân sắc dụ, năm 1882. Chiếu thư này được xem là nền tảng đạo đức cho Lục quân Nhật Bản và lực lượng hải quân cho đến khi chúng bị giải thế năm 1945.

Yamagata được thăng hàm Nguyên soái Lục quân năm 1898. Ông thể hiện năng lực lãnh đạo của mình trên các vấn đề quân sự khi đảm nhận vai trò Bộ trưởng Chiến tranh và Tổng tư lệnh trong cuộc Chiến tranh Thanh-Nhật; là Tư lệnh của Tập đoàn quân số một trong chiến tranh Nga-Nhật; và Tổng tham mưu trưởng tại Tokyo.

Ông được coi là thủy tổ của tư tưởng chính trị và quân sự Hokushin-ron khi ông vạch ra những nét đầu tiên của chiến lược phòng thủ quốc gia chống lại Đế quốc Nga sau Chiến tranh Nga-Nhật.